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Введение. При решении задач, требующих обработки большо- 
го объема данных, возникает проблема получения решения за 
приемлемое время. Одним из способов выполнения ограниче- 
ния на временной ресурс является разделение всего объема 
вычислений между несколькими центрами обработки данных. 
Следовательно, задача разработки методов повышения быст- 
родействия вычислительных систем и эффективности их ис- 
пользования является актуальной. В настоящей работе рас- 
сматривается разработка системы распределенных вычисле- 
ний для обеспечения решения обратных задач в области ме- 
ханики разрушений. Целями работы являются проектирова- 
ние и расчетно-экспериментальное обоснование системы для 
решения узко специализированного типа задач. В работе при- 
меняются такие программные как АМ№5У5, 
СОМ5ОЕ и ЕехРПЕ. 

Материалы и методы Предложена методология, позволяю- 
щая использовать в качестве центров обработки обычные ПК, 


комплексы 


а не специализированные машины с предустановленным ап- 
паратным обеспечением. Система не накладывает особых 
требований к аппаратной части компьютеров. Для функцио- 
нирования системы необходима связь между ПК. Наличие 
качественной высокоскоростной сети является желательным, 
так как это упрощает процесс развертывания системы и уве- 
личивает производительность вычислительного процесса. 
Проведен расчет конечно-элементной модели с большим 
набором параметров. 

Результаты исследования. Разработано новое программное 
обеспечение для обеспечения решения обратных задач в об- 
ласти механики разрушений. Реализована возможность ис- 
пользования системы для решения более широкого спектра 
задач. Были учтены особенности аналогичного ПО с целью 
повышения отказоустойчивости и уменьшения издержек, не 
связанных с решением задачи. Исполняющий модуль системы 
проводит вычисления в многопоточном режиме, поэтому ап- 
паратные возможности вычислительных средств используют- 
ся максимально рационально. Простота организации формата 
хранения данных и передачи их по сети позволила достигнуть 
наиболее оптимального использования доступных ресурсов. 
Обсуждение и заключения. Разработанная система распреде- 
ленных вычислений применена при проведении конечно- 
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Введение. В течение последних десятилетий наблюдается бурный рост многопроцессорных вычислений, 
включая многоядерные процессоры и создание распределенных центров обработки данных. Глобальное распростра- 
нение многоядерных процессоров, мощных графических процессоров и кластеров параллельных систем в совокупно- 
сти с наступившем расцветом эпохи В1 Дам и интенсивным вычислением данных открыли огромные возможности 
по применению и использованию параллельных и распределенных вычислений. Данные тенденции привели к тому, 
что параллельные и распределенные вычисления стали повсеместными в компьютерной науке, в результате чего они 
все чаще используются в отраслях, где возникает необходимость в обработке больших массивов данных при соблю- 
дении жестких временных ограничений. За счет того, что параллельные и распределенные вычисления производят 
одновременное выполнение нескольких процессов, значительно повышается скорость работы вычислительных си- 
стем. Параллельные и распределенные вычисления основаны на базовых понятиях во многих областях вычислений, 
включая понимание концепций фундаментальных систем, алгоритмы, языки, системы, сети и аппаратное обеспечение, 
а также параллелизм и параллельное выполнение, согласованность в манипуляции с состоянием, памятью и латентно- 
стью. Взаимодействие и координация между процессами задается в моделях вычислений передачи сообщений и об- 
щей памяти и таких алгоритмических концепциях, как атомарность, консенсус и условное ожидание. Одним из самых 
важных условий, стоящих перед вычислительными системами, является получение решения за приемлемое время. 
Распределение всего объема вычислений между несколькими центрами обработки данных является эффективным 
способом удовлетворения условия ограничения на временной ресурс [1]. Это определяет важность задачи разработки 
методов повышения быстродействия и эффективности вычислительных систем. 

Постоянное увеличение объемов данных повышает требования к хранению данных. Так, в докладе Междуна- 
родной корпорации данных указывается, что к 2020 году требования к хранению превысят 40 ЗБ [2]. Развитие техно- 
логий распределенных вычислений послужило толчком к объединению географически-распределенных по миру гете- 
рогенных ресурсов. Благодаря появлению технических возможностей для решения масштабных задач в области 
науки, техники и коммерции на территориально-распределенных ресурсах, принадлежащих разным владельцам, были 
разработаны такие системы хранения, как распределенные файловые системы Надоор [3], Сазапага [4] и Не [5], 
предназначенные для решения некоторых из существующих проблем путем диспергирования (распределения) боль- 
ших наборов данных по кластеру машин для облегчения последующего параллельного анализа. 

Поскольку объемы данных растут вместе с необходимостью своевременного извлечения знаний из них, про- 
исходит внедрение уникальных задач обеспечения ресурсов, вычислений и управления данными. Множество органи- 
заций используют компьютерные сети, объединяющие десятки и даже сотни компьютеров. С ростом таких сетей все 
актуальнее становится вопрос об эффективности использования вычислительных ресурсов, которые она объединяет. 
Зачастую имеющиеся компьютеры не загружены полностью. Поэтому для повышения эффективности следует задей- 
ствовать простаивающие ресурсы для выполнения какой-либо полезной работы — например, использовать их для 
решения некоторой трудоемкой задачи. Решение проблем производительности, энергоэффективности и безопасности 
в распределенных системах позволяет эффективно применять имеющиеся ресурсы. Развитие данного направления 
привело к возникновению концепции ийЙ? сотрийие. Данный подход заключается в объединении независимых вы- 
числительных ресурсов с целью получения виртуального суперкомпьютера. В последние годы популярность также 
набирает Липее Сотрийпе, представляющая собой распределенную вычислительную парадигму, основанную на од- 
новременном сочетании различных иерархических и распределенных вычислительных сред, которые состоят из 
большого количества гетерогенных ресурсов. В такой вычислительной среде ресурсы и основные вычислительные и 
коммуникационные инфраструктуры являются высокоиерархическими и гетерогенными. Это создает сложности при 
выполнении поиска надлежащих ресурсов для эффективного выполнения определенных работ в системе. 
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Распределенные вычислительные системы часто характеризуются множеством ресурсов, которые могут быть 
связаны с конкретными платформами или средами. Для максимального раскрытия потенциальных возможностей ис- 
пользования любых типов распределенных вычислительных ресурсов принципиально важным становится использо- 
вание результативных и эффективных алгоритмов планирования, используемых менеджерами ресурсов. 

В настоящее время широкое распространение получили системы, поддерживающие различные вычислитель- 
ные парадигмы, такие как кластерные вычисления (С/ияег Сотрийпв), грид-вычисления (С74 Сотрийпз), одноранго- 
вые вычисления (Реег-ю-Реег Сотрийпз), а также новая концепция облачных вычислений (Сюий Сотрийп?), каждая 
из которых так или иначе содержит в себе элементы неоднородности [6-7]. 

Анализ СА/-систем. Быстрое развитие новых технологий для управления информацией и извлечения зна- 
ний, оценки и слияния, а также внедрение новых вычислительных парадигм, поддерживающих такие задачи, оказыва- 
ет большое влияние на создание компьютерных систем будущего. Такие вычислительные парадигмы очень важны, 
особенно при выполнении семантического анализа полученной информации или предоставления распределенных или 
удаленных услуг с учетом предпочтений пользователей и социальных требований. 

Крупномасштабные распределенные вычислительные технологии, такие как суперкомпьютеры Сиа, Спа, 
Сияег и Шей Реогтапсе Сотрийпе (НРС), развиваются благодаря революционному появлению многоядерных про- 
ектов (СРИ, процессоров на одном кристалле, суперкомпьютеров на чипе и т. д.) и значительных успехов в сетях и 
межсоединениях (Маа5беп ей а[., 2011). Это приводит к усложнению интеграции разнообразных вычислительных сред, 
инфраструктур, платформ и технологий. Суперкомпьютеры способны решать большой спектр задач, однако за счет 
высокой стоимости они используются в основном для проведения научных исследований. Распространение данных, 
доступность оборудования, гетерогенность программного обеспечения, а также огромный объем научных проблем 
формируют потребность в более доступных вычислительных ресурсах, создаваемых, например, соединением класте- 
ровв СЕ/-системы. 

СЕЮШ-вычисления — это новая форма распределенных вычислений, обеспечивающая передовую вычисли- 
тельную и общую модель для решения объемных и вычислительно-интенсивных задач. СА/)-вычисления использу- 
ются для предоставления различных услуг пользователям через ресурсы, которые географически распределены, ди- 
намичны и разнородны по своей природе. В СА/)-вычислениях балансировка нагрузки играет важную роль при пере- 
распределении пользовательских заданий при перегрузке сетевых ресурсов. В последние несколько лет разработчика- 
ми было предложено множество стратегий балансировки нагрузки, с целью улучшения времени отклика, накладных 
расходов на связь, пропускной способности и использования ресурсов. Несомненным плюсом данных стратегий явля- 
ется отсутствие выделенных ресурсов и значительных дополнительных инвестиций в оборудование. СА/Л-системы на 
основе персональных компьютеров (ПК) являются наиболее дешевым решением, обеспечивающим сравнительно вы- 
сокую производительность в несколько петафлопс, что позволяет в большинстве ресурсоемких задач заменить ими 
суперкомпьютеры. 

В сфере программного обеспечения существует множество различных инструментариев для организации рас- 
пределенных вычислений. В качестве примеров можно привести инструментарии С1оБиз ТооКки, Арсйет! „МЕТ 
Егатемотк, Х-Сот, ВОС. 

Идея применения ПК при создании СЁ/-систем основана на использовании так называемых свободных ре- 
сурсов, не участвующих в работе, выполняемой пользователем вычислительного узла. В настоящее время наиболее 
известной открытой программной платформой, созданной исследователями университета Беркли для реализации 
СЕШ-вычислений, является ВОГМХС. На еб основе можно создавать распределенные системы локального и глобально- 
го масштаба. Система ВОГМС состоит из программного клиента, составного сервера и специализированного ПО. Для 
выполнения распределенных вычислений используется клиент-серверная архитектура, где связь между сервером и 
клиентами осуществляется через сеть Интернет. 

У всех систем подобного рода есть ряд недостатков — необходимость установки и настройки на стороне кли- 
ента специализированного программного обеспечения, сложность объединения разнородных вычислительных ресур- 
сов (таких как СРО, ЕРСА ит. д.) в единую распределенную систему. 

При создании собственной системы распределенных вычислений с применением платформы „МЕТ Ртатеуот!К 
был использован анализ требований, предъявляемых к гетерогенной системе для распределенных вычислений, а так- 
же существующие решения в области построения СА/-систем. 

Описание работы системы распределенных вычислений. При организации совместной работы компьюте- 


ров неизбежно возникает проблема разделения задачи на вычислительные блоки между центрами обработки. Тради- 
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ционно она решается созданием управляющей программы. Управляющая программа закрепляет между компьютерами 
вычислительные блоки задачи, организовывает их совместную работу, следит за работоспособностью компьютеров, 
обеспечивает сбор обработанных данных [8]. 

Данный подход накладывает жесткие ограничения на круг выполняемых задач из-за отсутствия мобильности 
в процессе перенастройки компьютеров в случае необходимости выполнения ряда задач с разными вычислительными 
алгоритмами. К недостаткам различных вариаций такого подхода относятся неизбежные временные потери, большие 
затраты на разработку программ, низкая живучесть системы из-за наличия центра управления, низкая эффективность 
решения вычислительных блоков задач с высокой степенью связности данных. 

Разработанный алгоритм позволяет использовать в качестве центров обработки не специализированные ма- 
шины с необходимым предустановленным аппаратным обеспечением, а обычные ПК, что позволяет снизить затраты 
на организацию вычислительных мощностей. В созданной системе нет требований к быстродействию компьютеров, а 
также не существует ограничений на количество ПК. К необходимым условиям относится наличие физических связей 
между ПК для передачи данных. Пользователь системы может применять обычную компьютерную сеть, построенную 
по топологии, имеющей иерархическую структуру, использующей различные сетевые технологии (например, 
Еегтпе\. При такой конфигурации и сетевой технологии каждый ПК может обращаться к источнику входных данных 
по каналу связи независимо от других ПК, передавать данные и служебную информацию от одного компьютера к 
другому. 

Система состоит из центрального модуля, который содержит набор задач, одновременно выполняемых в рам- 
ках распределенной системы вычислений. Центральный модуль выполняет ряд функций: добавление новых задач, 
обработка и хранение задач, распределение задач между исполняющими модулями, отображение статистики и ин- 
формации о ходе выполнения задач. Центральный модуль имеет пользовательский интерфейс, благодаря которому 
пользователь может в интерактивном режиме взаимодействовать и управлять им, добавлять, удалять, запускать и 
приостанавливать задачи. Также пользователь может как в ручном, так и в автоматическом режиме произвести сбор 
данных, полученных в результате решения задач. В рамки обязанностей центрального модуля входит регистрация и 
идентификация в сети исполняющих модулей, контроль их состояния, производительности и перераспределения задач 
в случае отказа какого-либо из них. Модуль поддерживает шифрование и сжатие данных, передаваемых по сети. Так- 
же, в случае необходимости, возможно установить опцию, при которой центральному модулю не будут передаваться 
результирующие данные. В таком случае пользователь может вручную произвести сбор данных. Центральный модуль 
получает информацию о производительности и аппаратном обеспечении машин, на которых установлены исполняю- 
щие модули и на основании данной информации может принять решение о распределении задач. 

Исполняющий модуль представляет собой программное средство, которое устанавливается на компьютер, 
участвующий в процессе распределённых вычислений. Данный модуль устанавливает сетевое взаимодействие с цен- 
тральным модулем и в случае готовности производить расчеты запрашивает задачи. Также он контролирует ход вы- 
полнения задачи, если это позволяет тип задачи, и производит перезапуск или отмену задания, если его не удается 
решить по каким-либо причинам. При первой установке соединения с центральным модулем и после авторизации ис- 
полняющий модуль получает все необходимые данные для проведения расчетов, за исключением специальных 
средств и программных комплексов, которые могут быть установлены вручную. Также он выполняет резервное копи- 
рование данных, полученных в результате проведения расчетов. В рамках поставленной задачи резервные копи со- 
здаются на уровне файлов. Исполняющий модуль может проводить одновременный запуск нескольких подзадач. Для 
обеспечения целостности данных он создает среду исполнения для каждой подзадачи и контролирует их статус вы- 
полнения. 

Каждая задача имеет определенное количество подзадач. Каждая задача и подзадача уникально идентифици- 
рована в системе во избежание коллизий. Задача представляет собой директорию с определенным набором файлов, в 
которых содержатся конфигурационные данные, набор параметров и дополнительная информация. Помимо этого, в 
директории находится программное средство, предназначенное для выполнения в фоновом режиме. Это средство 
производит запуск и инициализацию решаемой подзадачи. Оно может быть запушено в нескольких экземплярах. 

На рис. 1 показана схема взаимодействия пользователя и модулей системы распределенных вычислений. 
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Рис. 1. Взаимодействие пользователя и модулей разработанной системы распределенных вычислений 
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Ниже приведен алгоритм работы центрального модуля и основных его подсистем: 
. Запуск и инициализация. 
. Проверка статуса выполнения задач. 
. Проверка наличия новых задач. 
. Создание новых подзадач, если это необходимо. 


ыы тр - 


Параллельно: 
. Ожидание подключения исполняемого модуля. 
. Регистрация исполняемого модуля. 
. Передача всех компонентов необходимых для решения задач. 
. Получение системной информации от исполняемого модуля. 
. Получение информации о текущих и выполненных задачах. 
. Выполнение пункта 1. 
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Параллельно: 
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ь Ожидание запроса о новой задаче от исполняемого модуля. 
2. Выделение подзадачи или нескольких подзадач. 
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. Выполнение пункта 1. 
Параллельно: 
. Ожидание запроса на передачу данных, полученных в результате расчетов. 
. Получение данных согласно установленным параметрам. 
. Архивирование полученных данных. 
. Обновление списка выполненных подзадач и задач. 
. Оповещение исполняющих модулей о выполненных задачах. 
. Выполнение пункта 1. 
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Параллельно: 
. Проведение опроса подключенных исполняемых модулей. 
. Контроль состояния и сбор статистики модулей. 
. Перераспределение подзадач при необходимости. 
. Выполнение пункта 1. 
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Применение системы распределенных вычислений для решения обратных задач механики разруше- 
ний. Целью разработки системы распределенных вычислений является ускорение процесса решения большого набора 
ресурсоемких задач конечно-элементного моделирования и рациональное использование доступных вычислительных 
ресурсов. Неразрушающий контроль является неотъемлемой частью технического диагностирования и используется 
для оценки технического состояния узлов промышленного оборудования без применения разрушающих операций. 
Среди методов неразрушающего контроля ведущее положение занимает ультразвуковой контроль. Он основан на 
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способности звуковых волн отражаться от границы раздела двух упругих сред, обладающих разными акустическими 
свойствами [9-11]. 

Симуляция распространения ультразвуковой волны в твердых телах может быть проведена методом конеч- 
ных элементов (МКЭ). В качестве инструмента исследования был выбран программный комплекс СОМ5ОЕГ. С помо- 
щью этого программного комплекса решались задачи моделирования распространения ультразвуковой волны в трубе, 
усиленной тонкой кольцевой накладкой. 

Рассмотрим задачу идентификации дефекта с последующей его локализацией. Эта проблема относится к об- 
ласти неразрушающего контроля свойств и параметров объекта в обратных задачах механики деформируемого твер- 
дого тела. Возникает необходимость проведения большого количества ресурсоемких задач в ходе решения задачи 
идентификации дефектов. Необходимо провести расчет конечно-элементной модели с большим набором параметров. 
На рис. 2 проиллюстрировано распространение ультразвуковой волны при различных параметрах дефекта. 
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Рис. 2. Распространение и отражение ультразвуковой волны: 
трещина расположена вертикально (а); 
трещина расположена горизонтально (Б) 


Ер.2. Ргоразайоп ап4 геДеспоп оГийгазотс угауе: стас 15 [осае4 уегисаЙу (1ей); сгасЁ 15 [осше4 потгота|у (ие) 
В табл. 1 указано время, которое было затрачено на работу отдельных частей системы, при этом в расчетах бы- 
ло задействовано 25 компьютеров. 
Таблица 1 


ТаЫе 1 
Время, затраченное различными компонентами системы 
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Компонент системы Среднее время работы (с) 
Сотропет Ауегасе Ите ($) 
Решение задачи 1533 
Передача данных по сети 1,29 
Сохранение данных на диск 0,13 
Код исполняющего модуля 0,98 














Результаты применения системы и выводы. При применении разработанной системы распределенных вы- 
числений был достигнут существенный прирост производительности при решении задачи конечно-элементного моде- 
лирования. Благодаря тому, что исполняющий модуль системы проводит вычисления в многопоточном режиме, аппа- 
ратные возможности вычислительных средств были использованы наиболее рационально. Простота организации 
формата хранения данных и передачи их по сети позволила достигнуть наиболее оптимального использования до- 
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ступных ресурсов. За счет применения системы резервного копирования данных удалось сократить возможные потери 
данных, полученных в результате расчетов, при отказе некоторых компонентов системы. 

В рамках поставленной задачи эффективность применения разработанной системы распределенных вычисле- 
ний составила 99.8 %, а общее время проведения расчетов сократилось в 20 раз. 
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